softmax 与交叉熵的数值修复：消除梯度塌缩与抵消
🧭 数值稳定训练 · softmax/CE 修复 ★ 深度解读
Google DeepMind
修复 softmax/cross-entropy 的两个数值 bug，消除 Slingshot 尖刺与蒸馏漂移
📌 工作参考价值（4 点）
- 在大规模多分类/生成式推荐训练（含 bf16）中，若出现 loss 精确为 0、梯度不对称或 Slingshot 尖刺，优先检查 logit margin 是否超过精度悬崖：bf16 约 5.5，fp32 约 16.6。可直接替换 CE 为论文的稳定实现：loss=softplus(-margin)，margin=-logsumexp(非目标 logits - 目标 logit)，保证 target logit 梯度不归零且梯度严格零和。
- 做知识蒸馏（如 LLM 教师蒸馏排序模型、语义 ID 蒸馏、ctr 蒸馏）时，学生接近教师时标准 soft-target CE 会因 q-p 相减产生非零噪声梯度，导致学生漂移；应改用 log-space 直接计算 q-p 的实现（expm1/log1p），保证 zS=zT 时梯度为 0，bf16 下尤其重要。
- AdamW/Adam 训练时 logit margin 最终会稳定在 log(1/ε)，若 ε=1e-8 则 margin≈18.4，略高于 fp32 悬崖；可通过调整 ε 避开精度悬崖或使用稳定 CE，避免高置信度下的隐性优化问题。
- 该修复为 drop-in 替换、无额外计算开销，建议直接用于训练框架的 CE 实现，防止高置信度场景的数值退化。
FLMNet：从 mask 到 seed 的单塔 CTR 自集成蒸馏
🧭 单塔 CTR 训练 · 自蒸馏闭式正则 ★ 深度解读
National University of Singapore · University of Science and Technology of China
把 masked 自集成目标推到无穷 mask 极限，得到闭式 Jensen gap 正则，单塔一次前向即可训练；再叠加跨 seed 蒸馏
📌 工作参考价值（4 点）
- 工程上若现有 CTR 塔含 dropout 且想做 self-ensemble，不必采样多次：把 gate 改成读未 mask 的 embedding、readout 保持 affine、层间 coordinatewise rescale，就能用高斯-埃尔米特闭式代理训练，成本接近单次前向，可直接迁移到 DCN/DeepFM 类单塔。
- 调参时注意：普通 dropout 对应 κ=1，FinalNet/QNN 式自蒸馏是 κ>1；单独去掉辅助 loss 而不调 dropout rate 会同时降低有效剂量 κ·ρ/(1-ρ)，容易误判增益来源。
- 离线蒸馏：训练同架构不同 seed 的 K 个塔，用 pooled logit 做 teacher，student 只回归 logit（不读 label），可吸收部分集成增益，上线仍是单塔；成本 K+1 次训练，适合广告/电商模型定期刷新。
- 门控自蒸馏中，gate 必须读未 mask 输入，不能读上层的 masked carrier；否则 mean logit≠clean forward pass，闭式失效，实测 Criteo 上 AUC 掉 10.5e-4。
何时需要在线蒸馏？离线学生轨迹蒸馏常更优
🧭 LLM 蒸馏策略 · 在线 vs 离线 rollout
Semi-OPD 用初始学生离线 rollout 蒸馏，在 17 对模型上 14 对优于 OPD，最高 +13.6% 精度、11.4 倍加速
📌 工作参考价值（4 点）
- 做 LLM teacher→student 蒸馏（如 query 改写 / 商品文案 / Agent 策略小模型）时，先别默认 OPD。用一批 hold-out prompt 统计初始师生输出的 top-64 token overlap；若 overlap 不高（论文中多数 < 90%），直接用初始学生离线 rollout 的 Semi-OPD，精度更稳且省 GPU。
- 离线 rollout 可以预生成、缓存、复用，训练时只用固定数据，天然适合电商/广告的离线训练流水线；Semi-OPD 相对 OPD 最高 11.4 倍加速，H100 成本明显下降。
- 若业务必须用 OPD（如需要在线探索），先做 warm start 让学生与老师输出分布接近；否则学生 rollout 随上下文增长会越来越 off-policy，蒸馏信号退化。
- 可以把 token overlap ratio 作为轻量监控指标，在启动蒸馏前判断 OPD 是否值得，避免盲目投入 GPU。
学习功能子空间实现神经网络压缩
🧭 低秩压缩 · 功能子空间学习 ★ 深度解读
Helmholtz Munich · Technical University of Munich · Télécom Paris · Columbia University · New York University
用端到端学习的正交投影子空间替代逐层闭式低秩截断，显著提升LLM/ViT高压缩比下的精度与推理效率
📌 工作参考价值（4 点）
- 在电商/广告/搜索的LLM部署中，可用LSP对底座或领域模型做低秩压缩：用线上日志、商品语料或搜索曝光文本作为校准集，冻结原权重、以KL蒸馏学习要删的子空间，比SVD/剪枝更适合极限压缩。
- 直接复用「按输出KL边际成本分配rank」：Q/K/V往往比MLP更可压，注意力层可更激进地降秩；避免均匀分配浪费参数，分配阶段无需梯度，便于工程落地。
- 借鉴tied projector共享Q/K/V输入因子：KV cache只存一个窄潜在向量，可显著降低长上下文用户序列、Agent记忆或会话历史的显存占用；配合Palu/MLA类实现效果明显。
- 训练后合并为标准低秩矩阵，无额外算子，容易接入TensorRT/vLLM等推理框架；warm-up、direction dropout和正交惩罚等技巧可直接迁移到自研压缩流程。
Whisper 编码器剪枝：移除六层并用无标签蒸馏恢复
🧭 语音模型压缩 · Encoder 层剪枝
Technical University of Denmark · Laerdal Medical
按留一层 WER 变化排序剪掉 Whisper 编码器 6 层，再用无标签语音蒸馏恢复精度，无需自定义推理
📌 工作参考价值（4 点）
- 层重要性排序思路可直接迁移到 Transformer 编码器剪枝：在推荐/搜索模型中对 Encoder 层做 leave-one-out 敏感性分析（如用 A/B 指标或 loss 变化），定位冗余层，避免盲剪。
- 零样本剪枝 + 无标签蒸馏的组合适合业务场景缺乏标注数据时压缩模型：用大量无监督域内数据做蒸馏恢复精度，降低标注成本。
- 压缩后保持原始架构（只是更浅的 Encoder）能避免自定义推理代码，可无缝复用现有推理优化和部署工具，这对线上快速迭代很重要。
- 对语音搜索、客服语音识别等多模态入口模型，可借鉴该剪枝蒸馏 pipeline，在延迟敏感场景下用少量精度损失换取明显推理加速。
无推理轨迹的专家模型训练：领域专家蒸馏的隐式轨迹选择
🧭 专家模型训练与蒸馏 · 隐式推理轨迹
University of British Columbia · Shanghai Artificial Intelligence Laboratory · University of Helsinki · ELLIS Institute Finland · University of Turku
证明仅用 QA 训练的专家模型会隐式选择推理轨迹，且 tuning 选择直接控制下游学生的领域精度与通用能力平衡
📌 工作参考价值（4 点）
- 在电商/广告场景训练领域 LLM 专家时，如果只有 QA 对、没有 expert reasoning 标注，SFT 的超参（learning rate、epochs、数据配比、正则）会直接决定 teacher 生成的推理轨迹分布，进而影响蒸馏出的下游学生。应将专家模型的 tuning 配置视为向学生传递的隐式监督，而不是只盯着 teacher 的域内指标。
- 可以把 small student 当作无偏 probe，快速观测专家模型的隐式轨迹质量：不同 domain adaptation 配方做蒸馏后，比较学生的 specialization-generalization profile，无需额外 reasoning label 即可筛选适合线上均衡的 teacher 版本。
- 在导购/客服 Agent 的推理链生成场景中，可通过控制专家模型的 distributional drift（如限制训练步数、增加 KL/通用回放）来主动调整下游 agent 的领域精度与通用能力保留，避免部署后才发现泛化崩坏。
- 跨模型家族、多语言结果的强相关性说明：多语言电商或跨域蒸馏时，专家模型的隐式选择会遗传给学生，可用同一探针方法做跨语言一致性检查。
统一 per-token 门控族：FKL/RKL 混合的多通道与偏置参数化
🧭 LLM 知识蒸馏损失门控统一参数化
Xiaohongshu Inc. · Tianjin University
把 on-policy 蒸馏中的 per-token FKL/RKL 门控统一为四系数参数化，EOPD/ToDi 成为其一维特例
📌 工作参考价值（4 点）
- 做 LLM 蒸馏时，可把 FKL/RKL 混合权重从固定标量升级为 per-token 门控 λ_t=σ(a·h_t+b·u(x)+c+d·gap_t)，用 teacher 熵 h_t、学生/教师 gap_t 等已能计算的信号作为特征，几乎不额外增加工程成本。
- 可将 EOPD、ToDi 这类已有门控方法放进统一坐标里做 sweep；至少先跑 entropy-only、gap-only、bias-only 三条 1D 线，再叠加多通道和偏置，比盲调 FKL/RKL 权重更有方向。
- 显式 bias c 值得单独保留：它等价于一个可学习的全局混合偏好，部署到不同业务语料（商品文案/搜索改写/push 文案）时可以作为任务先验快速调节。
- 该文在短输出分类任务上方向性收益多，但 n=3 不显著；迁移到电商/推荐文本生成时，建议用多 seed paired replication 评估真实线上收益，别被单 seed 的 33/36 这类计数误导。
弱到强泛化的 On-Policy 反向蒸馏方法
🧭 弱到强泛化蒸馏训练方法
KAIST AI · Microsoft · University of Toronto · Mila · Université de Montréal
用 On-Policy Reverse Distillation 放大教师策略偏移分量，实现弱到强泛化且不施加教师容量上限
📌 工作参考价值（3 点）
- 模型迭代中利用旧模型知识：电商推荐/搜索排序模型升级（如从精排小模型到 LLM-based ranker）时，旧模型可作为弱教师，用 OPRD 思路在 on-policy rollouts 上计算教师策略偏移，加速新模型训练且避免继承旧模型容量上限，减少全量 RL 成本。
- 多域/多业务模型融合：广告、推荐、搜索多场景有各自模型，可作为多教师进行蒸馏，OPRD 的多教师扩展可能比直接加权蒸馏更高效；结合 verifier（如业务指标奖励模型）过滤教师更新方向，只放大与 verifier 一致的教师指导，防止负迁移。
- Agent 策略训练：在 LLM Agent 或生成式推荐策略优化中，实施 on-policy 蒸馏：用学生自我生成 rollout 评估教师策略位移，仅对 verifier 支持的方向放大梯度，保持策略优化不动点，可避免教师过度约束导致模式坍缩。
通过训练将自然语言规范编译为本地神经函数
🧭 自然语言规范编译为本地神经函数
University of Waterloo · Harvard University
通过教师模型生成示例并训练小适配器，将自然语言规范编译为可本地运行、可组合的神经函数
📌 工作参考价值（4 点）
- 在搜索/推荐/广告的高频文本规则场景（如 query 意图分诊、广告文案合规、商品标题清洗），可把 LLM 编译成轻量本地函数，替代每次远程调用；尤其适合高 QPS 或低延迟要求的在线链路，能显著降低 token 成本和尾延迟。
- 将自然语言规则视为可编译的"源"，用教师模型生成标注样本并训练小 adapter，使规则以模型权重形式版本化、可组合、可回滚；这比直接维护 prompt 或外部 LLM 调用更可控，也便于嵌入 ML pipeline 和 Agent 工具链。
- 编译时间约 1 分钟，准确率 83.6% 且语义匹配容错，适合作为模糊规则引擎的中间层；对关键业务可结合规则兜底或人工校验边界，避免在硬约束场景直接依赖。
- 该思路可推广到电商 Agent：把多个子任务自然语言描述分别编译成小函数，供 Agent 按需调用，减少对单一远程大模型的依赖，提升响应稳定性和可审计性。
自适应局部关系对齐：自回归语言模型预训练蒸馏的 logit 方法
🧭 知识蒸馏训练优化
VJ Technologies · AJ Technologies · Vietnam National University · University of Information Technology
ALRA 结合学生提议与教师锚点，自适应局部对齐改进 logit 蒸馏，提升预训练学生模型零样本性能
📌 工作参考价值（4 点）
- 在生成式推荐（如 Semantic ID、商品标题生成）的蒸馏中，可借鉴 ALRA 的候选 token 选择策略：让学生提出高概率 token，同时将教师的 top1 token 作为锚点加入，避免只用教师或学生导致候选集偏差，尤其适合训练早期学生排序不准确的场景。
- Adaptive Local Divergence 用单位系数替代教师质量系数，防止低概率但语义重要的 token 区域被忽略；这可以迁移到电商长尾商品或 query 的蒸馏，保护稀有但相关的 token 信号不被全局分布淹没。
- Student-Weighted Pairwise Relational Alignment 强调学生概率差小但教师偏好的 token 对，可用于校准推荐生成中 top-k 的局部排序，提升生成结果的多样性与准确性。
- 位置特定且 batch 自适应的 token 数量选择，减少了手工设定 top-k 的超参负担，适合在线学习或增量更新场景，能动态适应数据分布变化。
将黑盒机器学习蒸馏为小型自解释语言模型用于学习分析
🧭 模型蒸馏 · 可解释 AI
Department of Human Development, Teachers College Columbia University
提出两阶段微调管线，把黑盒估计器及其事后解释蒸馏进小型开源 LLM，实现离线个体级预测与自然语言解释
📌 工作参考价值（4 点）
- 蒸馏+事后解释作为 mentor 的架构可迁移：把现有黑盒排序/预测模型（如 GBDT、FM、DNN）及其 SHAP/LIME/注意力归因一起蒸馏到小型 LLM，业务侧就能用自然语言给商家/运营解释推荐或广告出价原因，同时保留个体级预估。
- faithfulness-first 评估思路值得借鉴：不只评测文本流畅度，而是校验叙述是否忠实于归因结果，是否引用虚假特征、编造数值。电商生成式推荐/解释场景可以照搬这种审计机制，当作文本质量门槛。
- 离线小模型部署降低隐私与成本压力：文中蒸馏后 2B LLM 可在笔记本离线运行，学生记录不出本机。对电商场景可类比：把用户行为序列、特征留在本地推理，避免调用云端大模型，既省成本又满足隐私合规。
- 不平衡决策的警示：严重类别不平衡下，文本解释虽然流畅但决策会塌缩到多数类。做推荐/广告中的解释型 Agent 时，需要单独监控决策分布，不能因为语言流畅就认为模型可靠。
GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏
🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读
Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University
用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型
📌 工作参考价值（4 点）
- 在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
- OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
- 对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
- 生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。
稳定优势融合：在线策略蒸馏的熵崩溃应对方法
🧭 RLVR与在线蒸馏的稳定融合训练策略 ★ 深度解读
Shanghai University of Finance and Economics · Meituan · The Chinese University of Hong Kong, Shenzhen · Peking University
通过稀疏压缩控制量级、预热退火调度时间，稳定GRPO与OPD优势融合，避免熵崩溃并提升生成质量
📌 工作参考价值（3 点）
- 在强化推荐系统中，业务指标（如点击）提供稀疏奖励，教师模型（如大模型打分）提供密集信号，借鉴SAF的量级控制（top-k稀疏化+tanh压缩）可抑制教师信号中少数极端 token 对梯度更新的主导，避免训练崩溃。
- 采用KL散度触发的预热和线性退火策略，自适应调节教师信号强度，防止早期过度模仿限制探索，后期保留教师指引的同时释放业务奖励的探索压力，可迁移到Agent训练或生成式推荐策略优化。
- SAF仅修改优势融合部分，不增加额外模型或损失，实现轻量、即插即用，适合在已有强化学习训练流程中快速验证教师信号融合效果。
CORE：电商搜索统一级联序数相关性评估框架
🧭 序数感知的搜索相关性评估 ★ 深度解读
Meituan · Beijing Institute of Technology
将多级相关性预测重构为题序二分类级联，用步级GRPO优化LLM推理并蒸馏至BERT，线上坏例率降低15.94%
📌 工作参考价值（4 点）
- 级联二分类适配序数标签：电商搜索相关性有自然顺序，高相关必须精准、低相关允许模糊，改为级联二分类可避免平坦多分类的代价不敏感，在线模型用双头BERT即可实现，计算量零增加。
- 结构化推理+步级GRPO：为LLM设计“意图分析→高/非高→中/低”的推理步骤，各步有独立二分类奖励，归一化到同阶段比较，避免容易步骤主导训练。这种细粒度信用分配可迁移到其他多步决策场景（如Agent规划）。
- 低成本移植LLM推理能力：用PostCoT蒸馏，让LLM将答案放在前缀，从首个token提取logits，按头聚合成对齐信号，结合硬标签训练双头BERT，既利用LLM的推理优势又满足在线延迟要求。
- 阈值校准控制线上风险：双头设置阈值τ1、τ2可单独调整，业务可按高召回或高精度要求调优，线上实测Badcase率下降15.9%，适合电商对排序错误零容忍的场景。
纯分数蒸馏：紧凑密集检索模型的压缩训练方法
🧭 知识蒸馏 · 密集检索压缩
Mohamed bin Zayed University of Artificial Intelligence
仅用教师模型输出的分数向量蒸馏学生模型，无需教师隐藏状态，实现 4.7× 查询编码加速
📌 工作参考价值（4 点）
- 黑盒蒸馏：只需要教师模型的分数输出，无需访问隐藏状态或嵌入，可直接蒸馏第三方大模型或 API 模型，适用于无法获取内部表示的闭源检索模型。
- 内存高效 PairMSE 损失：采用行中心分数向量目标替代显式 pairwise 边际计算，将内存复杂度从 O(k²) 降到 O(k)，适合大规模候选行训练，可直接用于电商搜索精排或双塔召回的蒸馏。
- 数据管线设计：论文给出了基于正样本和负样本候选行的数据生成流程，并单独评估了 student-teacher hard-negative mining，离线挖掘难负样本的策略可迁移至商品搜索的负样本构造。
- 在匹配协议下压缩有效：实验表明蒸馏在相同的检索协议（如推理阶段使用相同的候选生成方式）下可恢复 50% 的教师提升，但跨场景迁移不稳，提示部署时需保持检索协议一致性，避免直接泛化到不同检索配置。
不同教师不同能力：亚十亿参数设备端蒸馏结构化文本富集
🧭 知识蒸馏 · 小模型结构化抽取
揭示推理教师、指令教师、管道教师蒸馏小模型时传递不同能力，形成设备端结构化提取的任务级路由策略。
📌 工作参考价值（4 点）
- 电商商品描述/标签生成场景可用大模型推理教师蒸馏到<1B端侧模型，大幅降低延迟（论文中从39秒降到0.8秒），适合高吞吐在线结构化提取。
- QLoRA微调0.6B小模型仅需有限资源即可复现，蒸馏时保留教师推理能力的关键是教师需具备推理特性，而非仅规模放大。
- 不同教师传递不同能力：推理教师转移写作质量，管道教师转移标签多样性，指令教师更忠实；可据此构建“字段级路由器”，对关键字段（如标题摘要）用推理蒸馏模型，对需要忠实性的字段用指令蒸馏模型。
- 采用三位法官盲评的无参考评估方式，结合约束解码作为基线，可作为业务中自动化评估生成质量的参考方案。
ZooClaw-FashionSigLIP2：蒸馏微调与权值插值实现鲁棒时装检索
🧭 视觉-语言模型蒸馏微调 · 时装检索 ★ 深度解读
ZooClaw.ai
Full fine-tuning + LwF 蒸馏 + WISE-FT 权值插值，在时尚图文检索中同时击败 LoRA、更大骨干和外部数据
📌 工作参考价值（4 点）
- Full FT + LwF + WiSE-FT 是比 LoRA 更稳的域适配方案：对在电商搜索中微调 VLE 时，直接全量微调图像/文本编码器并配合知识蒸馏（冻结基座做 teacher），再用 WiSE-FT 与 base 做权值插值，能在保住零样本泛化的同时大幅提升域内指标。LoRA 的低秩约束会迫使更新集中在少数方向，OOD 下降明显。
- 双查询多任务训练可覆盖真实搜索场景：训练时同时构造短关键词（≤8 词，模拟用户搜索）和长描述（30–60 词，模拟详情页/QA），并用不同权重组合损失。对搜索推荐场景，可类似设计“短实时 query”与“长上下文 query”双路训练，提升多意图覆盖。
- GCL 损失利用软标签缓解 batch 内假负例：用 VLM 为图文对打分作为 graded relevance，通过 GCL 中权重项对高相关负样本降权，避免把相近款当严格负例推远。电商推荐中若有人工/半自动的款型相似度标签，可直接复用该思路。
- 对 OOD 评估基准的偏差需主动审计：论文发现 Fashion200k 的 ground truth 由 caption 来源图像构建，存在系统性偏向模型训练分布。工作中应警惕沿用公开基准的原始 qrels，必要时可采用多模型池化 + LLM 重打分做无偏评估，避免指标虚高。
任务特定LLM蒸馏的缩放定律
🧭 LLM蒸馏缩放定律与监督格式
NVIDIA
量化了领域特定LLM压缩中数据集大小、压缩比、监督格式的缩放规律，发现思维链监督能恢复剪枝损失的通用知识。
📌 工作参考价值（4 点）
- 若对电商搜索/推荐中的 LLM 进行压缩（如商品分类、意图识别），使用思维链（CoT）监督可以显著恢复结构化剪枝损失的通用知识，避免模型变成纯粹的领域专家而丧失泛化能力。Label-only 蒸馏（直接 logit KD 或 LoRA fine-tune）会导致通用能力塌陷。
- 迭代剪枝+蒸馏（每步剪枝后重新蒸馏）明显优于一次性剪枝，更匹配生产环境中逐步压缩模型的工程流程；该策略可迁移到实时服务对延迟敏感的场景。
- 缩放定律给出明确的数据量-压缩比关系，实践中可据此预估：要将模型压缩到目标大小，需要准备多少领域数据；数据集过小时，CoT 监督的数据效率优势更明显。
- LoRA 蒸馏在 label-only 设定下保留了比直接 logit KD 更多的通用知识，如果由于成本无法生成 CoT 标注，优先选用 LoRA 蒸馏作为折中方案。
INSPIRE：意图感知的电商赞助产品神经检索框架
🧭 意图感知检索 · 赞助搜索 ★ 深度解读
Walmart Global Tech, USA
通过多LLM共识生成结构化意图标签，蒸馏轻量模型并注入双编码器，显著提升购物搜索中隐式意图的检索质量
📌 工作参考价值（4 点）
- 意图弱监督标注管道：用多个大模型（如Gemma、LLaMA、Qwen）生成结构化意图，交叉共识后蒸馏到小模型（Phi-4-mini + LoRA），可直接复用于商品理解或query解析。
- 意图增强检索双编码器：将预测的意图字段（品牌、口味、饮食偏好等）拼接到query/item文本后训练，用cosine regression + MNR loss联合优化，能有效抑制“语义相似但意图冲突”的bad case，适合迁移到召回或相关性排序。
- 工程部署思路：离线用vLLM批量推断所有item的意图并存入索引，线上对高频query做缓存增强，新增的query使用轻量模型实时预测，平衡效果与延迟。
- 评估协议：用级联相关模型（Gemma-1B→2B→LLaMA-3 8B）自动标注QIP相关度分数，结合用户行为信号作为训练监督，可减少人工标注成本，在自有数据集上复用。
密集监督，稀疏更新：策略蒸馏的稀疏性与几何性质
🧭 后训练on-policy蒸馏的参数分析
School of Artificial Intelligence, Nanjing University · National Key Laboratory for Novel Software Technology, Nanjing University · Amap, Alibaba Group
发现on-policy蒸馏的更新是坐标稀疏且FFN为主的，训练子网络可恢复性能，并揭示了更新的几何特性。
📌 工作参考价值（4 点）
- OPD更新具有坐标稀疏性，可固定大部分参数仅更新重要子网络，显著降低微调计算开销，适合大规模推荐模型的高效部署与迭代。
- 发现AdamW优于SGD，因自适应学习率能处理密集监督带来的异构梯度尺度，推荐在蒸馏或微调任务中优先选用AdamW。
- 几何分析表明更新远离主奇异子空间且集中于小权重坐标，提示可基于权重大小设计结构化稀疏微调策略，减少对主特征方向的干扰。
- 在学生生成轨迹上使用密集监督但生成稀疏更新，为推荐模型中online知识迁移提供了新范式：保持监督密度但约束参数变化量，有助于稳定多任务对齐。
RGCD-Rep：推理引导的跨域表征学习，连接短视频与直播推荐
🧭 跨域推荐 · 多模态蒸馏 · 可迁移表征学习 ★ 深度解读
Kuaishou Technology, Beijing, China
首次将多模态大模型推理蒸馏到轻量模型，学习行为协同的跨域可迁移 item 表征，部署到快手直播推荐系统
📌 工作参考价值（4 点）
- 用行为对构造跨域蒸馏数据：从用户日志构建 (短视频, 直播) pair 并量化行为共现强度，作为监督信号。电商场景可直接套用，用 “点击-加购” 或 “浏览-转化” 行为对，将源域兴趣迁移到目标域。
- 大模型推理结果结构化：教师 MLLM 的输出不只是自由文本，而是分解为「垂直领域、关键主体、内容主题」三个维度的标签和匹配判断。在电商中，可将商品属性（品类、功能、场景）结构化，用于引导跨域匹配，避免噪声。
- Chorus Tokens + 可迁移/残差分离：用少量可学习 token（16个）聚合多模态信息，再用可学习 Query 向量拆出可迁移和残差部分。这种轻量设计适合离线生成 item embedding 并直接供检索使用，低延迟部署友好。
- 路由损失解决负迁移：对高可信 pair 鼓励用可迁移空间匹配，低可信 pair 用残差空间吸收噪声，缓解跨域不一致。在电商多域（如搜索、推荐、内容）统一表示时，可借鉴这种“软路由”机制，避免强行对齐带来的性能损失。